极长序列、极快速度:面向新一代高效大语言模型的LASP序列并行
极长序列、极快速度:面向新一代高效大语言模型的LASP序列并行从国际顶流 GPT-4 128K、Claude 200K 到国内「当红炸子鸡」支持 200 万字上下文的 Kimi Chat,大语言模型(LLM)在长上下文技术上不约而同地卷起来了
来自主题: AI技术研报
8129 点击 2024-04-16 18:08
搜索
从国际顶流 GPT-4 128K、Claude 200K 到国内「当红炸子鸡」支持 200 万字上下文的 Kimi Chat,大语言模型(LLM)在长上下文技术上不约而同地卷起来了
最近,Kimi Chat 的上下文长度从 20 万汉字升级到了 200 万汉字,10 倍的差距已经足够产生一次质变,做很多之前做不了的事情。感谢月之暗面给了提前测试的机会,我们直接开测!